选 AI 盒子，规格表上总写着“NPU 算力：6 TOPS”“AI 算力：50 TOPS”。数字越大越强吗？6 TOPS 和 50 TOPS 差在哪？为什么有的盒子标 6 TOPS 跑 7B 模型只要 8 秒，有的标 20 TOPS 反而更慢？
这是很多人选 AI 盒子时最大的困惑。TOPS 这个数字看起来简单，但背后涉及精度、架构、内存带宽、散热等多个变量——只看 TOPS 大小选设备，是最常见的踩坑方式。
TOPS = Tera Operations Per Second，每秒万亿次操作。
它是衡量 AI 芯片计算速度的单位。1 TOPS 表示芯片每秒能完成 1 万亿次基本运算（通常是 INT8 整数运算）。
用个直观的比喻：
TOPS 就像汽车的“马力”——马力越大，理论上跑得越快
但实际速度还取决于路况（内存带宽）、车重（模型大小）、驾驶员（软件优化）
核心认知：TOPS 是“理论峰值算力”，不等于“实际推理速度”。就像马力大不代表一定跑得快——还要看变速箱、轮胎、路况。
这是最容易被忽悠的地方。TOPS 前面通常有个精度标识，不同精度下算力完全不同：
| 精度 | 全称 | 说明 | 算力关系 |
|---|---|---|---|
| INT8 | 8 位整数 | AI 推理最常用，速度最快 | 基准（1×） |
| INT4 | 4 位整数 | 更低精度，速度更快但精度损失 | 约 INT8 的 2 倍 |
| FP16 | 16 位浮点 | 精度更高，算力约为 INT8 的一半 | 约 INT8 的 0.5× |
| FP32 | 32 位浮点 | 训练常用，推理很少用 | 约 INT8 的 0.25× |
关键陷阱：
有的厂商标“20 TOPS”，实际是 FP16 算力——换算成 INT8 只有 10 TOPS
有的厂商标“6 TOPS”，明确标注是 INT8——实际推理能力可能超过标 20 TOPS 的 FP16 设备
避坑方法：看规格时确认是 INT8 还是 FP16。如果厂商不标注，直接问销售：“这个 TOPS 是 INT8 还是 FP16？”
同样标 6 TOPS 的两台设备，实际推理速度可能差一倍。原因在于以下四个变量：
大模型推理的本质，是不断地把模型参数从内存搬到计算单元做运算。如果内存带宽不够，计算单元只能空转等待数据，TOPS 再高也发挥不出来。
| 内存类型 | 典型带宽 | 6 TOPS NPU 发挥程度 |
|---|---|---|
| LPDDR4 | ~30GB/s | 约 60%~70% |
| LPDDR4X | ~40GB/s | 约 80% |
| LPDDR5 | ~60GB/s | 约 90%~95% |
| LPDDR5X | 100GB/s+ | 接近 100% |
选型建议：跑 7B 模型至少需要 40GB/s 以上带宽。看到“6 TOPS + LPDDR4”的组合要警惕——实际推理速度可能只有标称值的 60%~70%。
| 架构 | 算力数字 | 单路推理 | 多路并发 |
|---|---|---|---|
| 单核 NPU | 6 TOPS | 速度快 | 需排队处理 |
| 三核独立 NPU | 6 TOPS | 速度相同 | 三路并行，互不干扰 |
案例：华一精品 PB0601（单核 NPU）和 PB0801（三核 NPU）算力都是 6 TOPS。单路推理速度相近，但 PB0801 可同时跑 3 个不同 AI 模型，PB0601 需串行执行。多任务场景下 PB0801 效率高出 2~3 倍。
| 散热方案 | 峰值性能 | 持续性能（30 分钟后） |
|---|---|---|
| 被动散热（无风扇） | 100% | 70%~85% |
| 主动散热（风扇） | 100% | 90%~95% |
行业数据：某标称 50 TOPS 的 AI 设备，持续负载下因散热不足降频，实际算力仅 35 TOPS 左右。峰值算力是理论值，持续算力才是真实体验。
同样 6 TOPS NPU，不同推理框架的效率差异明显：
| 推理框架 | 优化程度 | 7B 模型速度 |
|---|---|---|
| 原生 RKNN（瑞芯微官方） | ⭐⭐⭐⭐⭐ | 10~12 token/s |
| Ollama（ARM 版） | ⭐⭐⭐⭐ | 8~12 token/s |
| 通用 TensorFlow Lite | ⭐⭐⭐ | 6~8 token/s |
选型建议：优先选择预装官方推理框架的设备（如华一精品 PB0601/PB0801 预装 RKNN），避免自己折腾框架适配。
| 算力档位 | 典型 NPU 算力 | 能跑什么 | 实际体验 |
|---|---|---|---|
| <5 TOPS | 1~4 TOPS | 轻量分类、人脸检测 | 只能跑简单模型 |
| 6~10 TOPS | 6 TOPS | 7B 大模型、多路目标检测 | 7B 模型 8~12 token/s，可用 |
| 10~20 TOPS | 10~20 TOPS | 13B 大模型、复杂视觉 | 13B 模型可用，速度提升 |
| 20~50 TOPS | 20~50 TOPS | 7B~13B 流畅推理 | 接近云端体验 |
| 50+ TOPS | 50 TOPS+ | 70B 大模型、高并发 | 旗舰性能 |
关键认知：6 TOPS 是边缘 AI 的“甜点算力”——能跑 7B 大模型、能支持多路视频分析，同时功耗仅 10W、成本可控。大多数边缘 AI 场景，6 TOPS 已经够用。
问清楚：是 INT8 还是 FP16？INT8 算力才是实际推理能力的直接参考。
| 内存类型 | 判断 |
|---|---|
| LPDDR5/LPDDR5X | 带宽充足，算力可充分发挥 |
| LPDDR4X | 带宽一般，算力发挥约 80% |
| LPDDR4 | 带宽不足，算力发挥约 60%~70% |
单路推理：单核 NPU 即可
多路并发：选三核独立 NPU（如 PB0801）
无风扇被动散热：适合低功耗（<15W）设备
主动风扇散热：适合高负载持续推理
要求厂商提供 实测 token/s 数据，而不是只看 TOPS 数字。例如：
“运行 Qwen2.5-7B Q4 模型，速度 8~12 token/s”
这才是硬指标。
| 型号 | NPU 算力 | 精度 | NPU 架构 | 内存 | 7B 模型速度 | 功耗 |
|---|---|---|---|---|---|---|
| PB0801 | 6 TOPS | INT8 | 三核独立 | 6GB LPDDR4 | 8~12 token/s | 10W |
| PB0601 | 6 TOPS | INT8 | 单核 | 6GB LPDDR4 | 8~12 token/s | 10W |
| PB1301 | 50 TOPS | INT8 | XDNA2 | 16GB LPDDR5x | 15~25 token/s | 28W |
| PB1501 | 50 TOPS（综合 126 TOPS） | INT8 | XDNA2 | 128GB LPDDR5x | 可跑 70B | 55~120W |
两款 6 TOPS 设备（PB0801/PB0601）的 NPU 算力相同，核心差异在于 NPU 架构——PB0801 三核支持多任务并行，PB0601 单核适合单路推理。
A：理论算力差约 8 倍，但实际体验差异取决于场景：
跑 7B 模型：6 TOPS 约 8~12 token/s，50 TOPS 约 15~25 token/s（差约 2 倍）
跑 13B 模型：6 TOPS 较吃力，50 TOPS 流畅
多路并发：50 TOPS 可支持更多路数
原因：实际速度受内存带宽、软件优化等限制，不能简单按 TOPS 倍数换算。
A：可能的原因：
20 TOPS 是 FP16 算力，实际 INT8 只有 10 TOPS
6 TOPS 设备内存带宽更高（LPDDR5 vs LPDDR4）
6 TOPS 设备软件优化更好（官方 RKNN vs 通用框架）
20 TOPS 设备散热不足，持续负载下降频
A：6 TOPS（INT8）是最低门槛，可实现 8~12 token/s 的可用速度。如果追求更流畅体验（15~25 token/s），建议 20~50 TOPS。
A：算力数字相同，但三核可同时处理 3 个 AI 任务（如同时跑人脸识别+车牌识别+行为分析），单核需排队处理。单路推理选单核（PB0601），多路并发选三核（PB0801）。
A：不完全是。 高 TOPS 意味着更高功耗和成本。对于单路 7B 模型推理，6 TOPS 已够用，花更多钱买 50 TOPS 是性能浪费。选型原则：够用就好，留 20%~30% 余量。
